Massive Activations in Hybrid Linear Attention Large Language Models: Pre-Attention Spikes and Inter-Spike Plateaus
混合线性注意力大模型中的巨量激活：前注意力尖峰与尖峰间平台
🧭 混合线性注意力LLM激活分析
Startlux · Tsinghua University · University of Chinese Academy of Sciences · The University of Hong Kong · University of Sydney
首次系统揭示混合线性注意力LLM中巨量激活呈前注意力尖峰与尖峰间平台两种形态，并给出生命周期机制
📌 工作参考价值（4 点）
- 部署 Hybrid Linear Attention LLM 做长上下文用户序列或 Agent 记忆时，可在全注意力层前增加激活幅值监控；这些位置被证实会出现 PAS，适合作为 FP16/INT8 量化的高危层，建议对这些投影层保留 FP32 或 per-channel 量化。
- 若使用 GDN 等带输出门控的混合架构，保留或加强全注意力层的 output gating 能显著压低 PAS/ISP 的绝对幅值，而不会破坏层级组织结构；可作为训练稳定性和量化友好的低成本 knob。
- PAS/ISP 生命周期与层类型强相关，说明巨量激活不是随机噪声；可用层位置先验做 outlier-aware 剪枝、KV cache 淘汰或 top-k 门控：线性注意力区间内容忍持续平台，在全注意力前保守处理尖峰。
- 训练混合模型时，两形态早期出现，可据此设计按层类型分化的 clipping/gate initialization 策略，而不是全局统一激活裁剪。